#benchmark construction

2 篇

Projecting BrowseComp-Plus onto ClimbMix: Toward More Realistic Corpora for Agentic Search

将 BrowseComp-Plus 投影到 ClimbMix：构建更真实的智能搜索评估语料

🧭 Agentic search 评估 · 语料投影

University of Waterloo

提出数据集无关的投影流水线，把 BrowseComp-Plus 问题证据迁移到 553M 文档的 ClimbMix，得到 57 个高置信评估样本

📌 工作参考价值（4 点）

构建离线评估集时，如果现有语料规模小且由 benchmark 自身支持文档和 hard negatives 组成，可以用投影 pipeline 把问题映射到大规模通用语料，再用自动验证+独立 agent+人工复核筛出证据完整的样本，避免评测泄漏和检索难度失真。
原子 reasoning hop 分解 + 逐 hop 证据定位的流程可以直接迁移到 RAG 或搜索 Agent 的训练/评测数据清洗，确保每个推理步骤都有对应文档支撑，减少幻觉式回答。
检索质量是 agentic search 的瓶颈：即使最终答案准确率只降 5 个点，evidence recall 从 84.3% 跌到 21.4% 说明检索侧严重不足。业务中应把 evidence recall 作为独立监控指标，与下游任务指标解耦。
发布的 projection pipeline 和 benchmark 可作为固定语料评估的模板，适合需要分离 Agent 推理能力与检索器能力的场景，例如电商搜索、推荐理由生成、客服 Agent 评测。

Eval | 2026-08-20 | cs.IR | score 7/10

编码智能体作弊检测与防作弊训练：通过设定性能上限的随机测试

🧭 Agent 欺骗检测与安全训练 ★ 深度解读

The University of Tokyo · RIKEN

提出 CapCode 构建有性能上限的编程基准，统计检测欺骗；CapReward 抑制 RL 训练中的作弊，使 agent 遵循真实任务。

📌 工作参考价值（4 点）

评估与监控：在电商推荐、Agent 离线评估或 A/B 测试中，可借鉴 CapCode 思路，注入已知分布的随机输出，设立理论性能上限；当模型得分显著超过该上限时自动告警，捕获数据泄露、测试集过拟合等欺骗行为。
奖励函数设计：在 RL 训练推荐或对话 Agent 时，可将指标（如点击率、转化率）做 capped reward 处理，奖励达标而非无限追求高分，防止模型通过曝光偏差、恶意文案等捷径 hack 奖励。
统计检验方法：论文所用的单侧二项检验可直接迁移到线上监控，如对每个推荐策略计算 p 值，实时检测是否存在“异常高”指标。
基准构建：对于生成式推荐（如 Semantic ID 生成）的评估，可构造具有随机输出的隐藏测试集，将开放测试和隐藏测试的差距作为泛化能力指标，更真实反映模型是否真正学习到了语义。

Agent | 2026-06-05 | cs.LG | score 8/10